#representation learning

4 篇

Language Models for Page-Level Layout Decisions in E-commerce Search

电商搜索页面级布局决策的语言模型评估：Prompt 与表征方法对比

🧭 LLM as judge · 页面布局离线评估 ★ 深度解读

Walmart Global Tech · University of Illinois at Urbana-Champaign

首次系统对比 Prompt 与表征方法离线评估电商搜索中次级堆叠布局，表征方法 AUC 0.853 显著更优

📌 工作参考价值（4 点）

页面布局评估不要直接用 LLM-as-judge：DP 几乎全预测 1，PDJ 虽有分解但仍等权结合，不可靠；改用轻量预训练编码器（如 ModernBERT）embedding + 浅层分类器，AUC 可从 0.67 提升到 0.85，且推理成本更低。
标签构造采用 top-to-bottom scroll model：只保留用户实际滚动到次级堆叠位置以下的会话，避免将未看见模块的会话误标为正/负，可显著降低标签噪声，适合电商搜索行为数据。
显式结构化特征（stack type、插入位置、重复商品数等）在 prompt 推理中容易被损失，但 representation 方法能自动编码这些信号；如果要用 prompt 派生特征，务必把关键显式特征重新拼回分类器输入。
对 Agent/LLM 驱动的 UI 决策，优先考虑用 embedding 作为状态表示，再用小型分类器做最终判断，而不是让 LLM 直接输出最终决策，可减少方差并提升离线可评估性。

Eval | 2026-10-07 | cs.IR | score 8/10

任务向量何时足够？隐式多模态上下文学习的实证理论

🧭 多模态 ICL 任务向量选择机制

Brown University

提出 Selection-Realization 假设，揭示静态任务向量在跨查询共享变化为主时足够，否则需更复杂干预

📌 工作参考价值（4 点）

在电商搜索/推荐中用 LLM 做少样本任务（如属性抽取、意图分类）时，先对比正确演示与反事实的激活结构：若演示诱导的变化跨查询高度共享，用静态 task vector 压缩演示可大幅降低多模态 token 重复编码成本，适合高并发在线推理。
借鉴 Selection-Realization 假设做成本感知的方法选择：离线分析显式 ICL 的隐藏状态变化，判断任务是否可被局部加性偏移近似，无需上线测试即可决定用静态向量还是升级到 query-conditioned 或 attention routing。
对多模态商品理解任务，静态 task vector 可能只覆盖通用映射，遇到细粒度查询（如颜色/材质条件）时性能下降；可考虑按 query 子集聚类维护多个 task vector，或增加轻量 query 调制模块来捕获查询特定结构。
工程实现上，若任务相对稳定且演示较长，优先尝试将演示压缩为单次前向的激活偏移作为缓存，避免每次推理重复编码多模态演示，减少延迟和 KV cache 占用。

Multimodal | 2026-08-13 | cs.CV | score 6/10

Orca：世界在你心中——基于状态预测的通用世界基础模型

🧭 世界模型 · 多模态预训练

Beijing Academy of Artificial Intelligence

以Next-State-Prediction为核心，通过无意识与有意识学习统一世界潜在空间，在下游多模态任务中展现强迁移能力

📌 工作参考价值（4 点）

状态转移建模借鉴：用户行为序列可类比世界状态转移，用无意识学习处理大量未标注浏览序列，有意识学习聚焦稀疏但关键的转化事件（如点击、购买），提升对用户长期兴趣的建模。
多模态统一表示：将商品图文、用户行为等多模态信号对齐到同一潜在空间，冻结预训练主干，仅在下游训练轻量解码器，降低推荐/搜索系统的多任务开发成本。
数据飞轮构建：参考“密集状态转移（视频帧）+ 稀疏事件标注”的混合预训练数据设计，构建高密度交互日志与人工标注反馈相结合的训练流水线。
工程轻量化：冻结世界模型主干、只微调解码器的范式，可直接迁移到已有大模型部署场景，快速适配新业务目标如内容生成、问答、动作推荐。

Multimodal | 2026-06-28 | HF Daily | score 7/10

RGCD-Rep：推理引导的跨域表征学习，连接短视频与直播推荐

🧭 跨域推荐 · 多模态蒸馏 · 可迁移表征学习 ★ 深度解读

Kuaishou Technology, Beijing, China

首次将多模态大模型推理蒸馏到轻量模型，学习行为协同的跨域可迁移 item 表征，部署到快手直播推荐系统

📌 工作参考价值（4 点）

用行为对构造跨域蒸馏数据：从用户日志构建 (短视频, 直播) pair 并量化行为共现强度，作为监督信号。电商场景可直接套用，用 “点击-加购” 或 “浏览-转化” 行为对，将源域兴趣迁移到目标域。
大模型推理结果结构化：教师 MLLM 的输出不只是自由文本，而是分解为「垂直领域、关键主体、内容主题」三个维度的标签和匹配判断。在电商中，可将商品属性（品类、功能、场景）结构化，用于引导跨域匹配，避免噪声。
Chorus Tokens + 可迁移/残差分离：用少量可学习 token（16个）聚合多模态信息，再用可学习 Query 向量拆出可迁移和残差部分。这种轻量设计适合离线生成 item embedding 并直接供检索使用，低延迟部署友好。
路由损失解决负迁移：对高可信 pair 鼓励用可迁移空间匹配，低可信 pair 用残差空间吸收噪声，缓解跨域不一致。在电商多域（如搜索、推荐、内容）统一表示时，可借鉴这种“软路由”机制，避免强行对齐带来的性能损失。

RecSys | 2026-06-03 | cs.IR | score 10/10